Hiệu suất mô hình là gì? Các nghiên cứu khoa học liên quan

Định nghĩa hiệu suất mô hình

Hiệu suất mô hình (model performance) là thước đo tổng hợp phản ánh khả năng dự đoán chính xác của mô hình máy học trên dữ liệu chưa từng quan sát. Hiệu suất không chỉ đánh giá kết quả dự đoán trên tập huấn luyện mà quan trọng hơn là đo lường khả năng khái quát hóa (generalization) khi mô hình tiếp xúc với dữ liệu thực tế.

Trong nghiên cứu và triển khai, hiệu suất mô hình được so sánh qua các tham số định lượng khác nhau tùy theo loại bài toán: phân loại, hồi quy, hoặc đề xuất. Việc chọn chỉ số phù hợp giúp phát hiện sớm underfitting (mô hình đơn giản, không học đủ mối quan hệ) và overfitting (mô hình quá phức tạp, khớp nhiễu), từ đó điều chỉnh kiến trúc hoặc siêu tham số kịp thời.

Quá trình đánh giá hiệu suất thường bao gồm ba bước chính: chia dữ liệu thành các tập huấn luyện, xác thực và kiểm thử; sử dụng cross-validation để ước lượng ổn định; cuối cùng là tổng hợp và báo cáo các chỉ số chủ chốt. Các công cụ phổ biến như scikit-learn cung cấp sẵn hàm tính toán để đánh giá nhanh các metric tiêu chuẩn (scikit-learn docs).

Các loại bài toán và chỉ số đánh giá

Căn cứ vào bản chất đầu ra, bài toán máy học được phân thành hai nhóm lớn:

• Phân loại (Classification): dự đoán nhãn rời rạc. Chỉ số thường dùng gồm Accuracy, Precision, Recall, F1-score, AUC-ROC, AUC-PR.
• Hồi quy (Regression): dự đoán giá trị liên tục. Chỉ số thường dùng gồm Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), R² (hệ số xác định).

Ngoài ra, trong các bài toán đặc thù như ranking hay recommendation, các metric như Mean Average Precision (MAP), Normalized Discounted Cumulative Gain (NDCG), Precision@K được áp dụng để đánh giá khả năng xếp hạng và giới thiệu kết quả phù hợp nhất cho người dùng.

Việc lựa chọn metric cần đảm bảo phù hợp với mục tiêu nghiệp vụ: độ chính xác cao chưa chắc đem lại giá trị thực tiễn nếu mô hình phân loại mất cân bằng dữ liệu (ví dụ tỉ lệ dương tính rất nhỏ), khi đó AUC-PR hoặc F1-score có thể phản ánh tốt hơn khả năng phát hiện lớp cần quan tâm.

Độ chính xác và độ lỗi

Độ chính xác (Accuracy) tính tỉ lệ dự đoán đúng trên tổng số quan sát, phù hợp khi các lớp phân bố cân bằng. Công thức đơn giản:

• Accuracy = (Số dự đoán đúng) / (Tổng số quan sát)

Trong bài toán hồi quy, độ lỗi phản ánh sai số trung bình giữa giá trị dự đoán và thực tế. Hai metric phổ biến:

1. Mean Squared Error (MSE): bình phương sai số, nhạy với outlier, công thức $\mathrm{MSE} = \frac{1}{n} \sum_{i=1}^n (\hat y_i - y_i)^2$
2. Mean Absolute Error (MAE): giá trị tuyệt đối sai số, dễ giải thích, ít nhạy cảm với outlier, công thức $\mathrm{MAE} = \frac{1}{n} \sum_{i=1}^n |\hat y_i - y_i|$

ROC, AUC và đường cong PR

Đường cong ROC (Receiver Operating Characteristic) biểu diễn mối quan hệ giữa True Positive Rate (TPR) và False Positive Rate (FPR) khi thay đổi ngưỡng phân loại. Diện tích dưới đường ROC (AUC-ROC) đánh giá khả năng phân biệt của mô hình: giá trị 1.0 là lý tưởng, 0.5 tương đương ngẫu nhiên (Fawcett, 2006).

Đường cong Precision–Recall (PR) thể hiện mối quan hệ giữa precision và recall, phù hợp cho dữ liệu mất cân bằng. AUC-PR tập trung vào hiệu suất trên lớp dương nhỏ, giúp đánh giá khả năng phát hiện đúng và giới hạn sai cảnh báo giả.

• TPR (Recall): TPR = TP / (TP + FN).
• FPR: FPR = FP / (FP + TN).
• Precision: Precision = TP / (TP + FP).

So sánh ROC và PR: khi dữ liệu mất cân bằng, PR curve cho cái nhìn chi tiết hơn về khả năng phát hiện lớp thiểu số, trong khi ROC curve có thể đánh giá quá lạc quan vì coi TN là tương đương TP.

Cross-validation và chia tập dữ liệu

Cross-validation (CV) là kỹ thuật phân tích hiệu suất ổn định bằng cách chia dữ liệu thành nhiều tập con (folds) và luân phiên sử dụng mỗi fold làm tập kiểm thử, các fold còn lại làm tập huấn luyện. K-fold CV phổ biến nhất, với giá trị K thường là 5 hoặc 10, giúp ước lượng sai số khái quát hóa mà không phụ thuộc vào cách chia dữ liệu ngẫu nhiên đơn lẻ (scikit-learn docs).

Stratified K-fold dành cho bài toán phân loại, đảm bảo tỷ lệ mỗi lớp trong mỗi fold tương tự tỷ lệ lớp trong toàn bộ dữ liệu. Leave-One-Out (LOO) là trường hợp đặc biệt với K = n, mỗi lần huấn luyện trên n–1 mẫu và kiểm thử trên 1 mẫu, phù hợp khi dữ liệu rất ít nhưng tính toán tốn kém.

Việc lựa chọn phương pháp chia tập và số lần lặp lại (repeats) ảnh hưởng trực tiếp đến độ tin cậy của chỉ số hiệu suất. Thực nghiệm lặp nhiều lần với seed khác nhau giúp đánh giá biến thiên của metric, từ đó xác định khoảng tin cậy cho hiệu suất thực nghiệm.

Bias–Variance tradeoff

Bias–Variance tradeoff mô tả mâu thuẫn giữa underfitting và overfitting. Bias cao (mô hình đơn giản) dẫn đến underfitting, sai số huấn luyện lẫn sai số kiểm thử đều lớn. Ngược lại, variance cao (mô hình quá phức tạp) gây overfitting, sai số huấn luyện rất thấp nhưng sai số kiểm thử tăng mạnh.

• Bias thấp, Variance cao: mô hình linh hoạt (ví dụ: cây quyết định sâu), dễ biểu diễn nhiễu trong dữ liệu huấn luyện.
• Bias cao, Variance thấp: mô hình cứng ngắn (ví dụ: hồi quy tuyến tính đơn giản), không bắt kịp mối quan hệ phức tạp.

Learning curve (đường học) thể hiện sai số huấn luyện và kiểm thử khi tăng kích thước tập huấn luyện. Khoảng cách lớn giữa hai đường cho thấy overfitting, trong khi cả hai đường hội tụ ở giá trị cao báo hiệu underfitting. Kỹ thuật giảm variance như regularization (L1, L2), pruning, hoặc tăng dữ liệu (data augmentation) giúp cân bằng tradeoff (Google MLCC).

Calibration và độ tin cậy

Calibration đánh giá mức độ khớp giữa xác suất dự đoán của mô hình và tần suất thực tế của kết quả. Ví dụ: trong 100 lần dự đoán với xác suất 0.8, khoảng 80 lần dự đoán đúng mới gọi là mô hình được calibrate tốt. Reliability diagram (calibration curve) và Brier score là hai công cụ phổ biến để đánh giá và trực quan hóa độ tin cậy.

Brier score đo sai số trung bình bình phương giữa xác suất dự đoán pi và nhãn thực tế yi:

$\mathrm{Brier} = \frac{1}{N} \sum_{i=1}^N (p_i - y_i)^2$

Phương pháp hiệu chỉnh calibration bao gồm Platt scaling (sử dụng một mô hình logistic trên đầu ra của SVM) và isotonic regression (không giả định hình dạng quan hệ) để điều chỉnh xác suất đầu ra, cải thiện độ tin cậy cho các quyết định phụ thuộc ngưỡng (scikit-learn calibration).

Đánh giá thực tế và khả năng mở rộng

Sau khi đánh giá hiệu suất trên tập kiểm thử, mô hình cần thử nghiệm trong môi trường thực tế (production) với dữ liệu luồng (streaming data) hoặc dữ liệu mới phát sinh. Các chỉ số latency (thời gian phản hồi), throughput (số bản ghi xử lý/giây) và tiêu thụ bộ nhớ (memory footprint) là yếu tố quan trọng để đảm bảo mô hình đáp ứng yêu cầu vận hành.

Khả năng mở rộng (scalability) được đo qua việc triển khai mô hình trên kiến trúc phân tán (Hadoop, Spark) hoặc dịch vụ serverless (AWS Lambda, Google Cloud Functions). Công cụ MLflow và TensorBoard cung cấp cơ chế theo dõi phiên bản mô hình, metric thời gian thực và so sánh hiệu suất giữa nhiều phiên bản (MLflow docs).

• Latency: thời gian tính toán cho mỗi yêu cầu dự đoán.
• Throughput: số lượng dự đoán trên mỗi đơn vị thời gian.
• Resource usage: CPU, GPU, RAM tiêu thụ khi inference.

Giới hạn và sai số đo

Đánh giá hiệu suất mô hình có thể bị sai lệch bởi data leakage (thông tin từ tập kiểm thử rò rỉ vào quá trình huấn luyện) và data drift (dữ liệu mới không tuân theo phân phối ban đầu). Cần kiểm soát pipeline dữ liệu chặt chẽ và triển khai giám sát drift để tái huấn luyện kịp thời.

Chỉ số đơn lẻ có thể che khuất các lỗi phân bố cục bộ, ví dụ accuracy cao nhưng F1-score thấp trên lớp thiểu số. Đồng thời, sai số do phương pháp đánh giá (số fold, seed) cần được làm rõ và báo cáo kèm khoảng tin cậy (confidence interval) cho các metric chủ chốt.

Tài liệu tham khảo

• Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. 2nd ed. Springer; 2009.
• Bishop CM. Pattern Recognition and Machine Learning. Springer; 2006.
• Fawcett T. “An introduction to ROC analysis.” Pattern Recogn. Lett. 2006;27(8):861–874. doi:10.1016/j.patrec.2005.10.010
• Pedregosa F., et al. “Scikit-learn: Machine Learning in Python.” J. Mach. Learn. Res. 2011;12:2825–2830. doi:10.5555/1953048.2078195
• Platt J. “Probabilistic Outputs for SVM and Comparisons to Regularized Likelihood Methods.” Adv. Large Margin Classif. 1999;10(3):61–74.